202303.00690v1 


chinaXiv 


学 科 与 领域 
Subject and Field 


ChinaXiv 合 作 期 刊 


SKA 大 数据 的 科学 应 用 和 挑战 
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摘要 即将 开 建 的 平方 公里 阵列 (SKA) 射电 望远镜 是 最 大 的 天 文 观 测 装 置 ， 有望 在 宇宙 起 源 、 生 命 起 源 、 宇 宙 
磁场 起 源 、 引 力 本 质 、 地 外 文明 等 自然 科学 重大 前 沿 问题 上 取得 革命 性 的 突破 。SKA 的 超级 灵敏 度 、 超 大 视 场 、 
超 快 巡天 速度 和 超 高 时 间 、 空 间 、 频 率 分 辨 率 等 技术 特点 确保 了 SKA 在 观测 能 力 上 的 领先 地 位 ， 由 此 也 产生 了 海 


量 观测 数据 。SKA 的 数据 运输 、 存 储 、 读 写 、 运 
严峻 的 考验 。 中 国 SKA 科 学 团队 将 协同 信息 产业 
现 ， 其 技术 成 果 也 将 应 用 于 国民 经 济 建设 。 


关键 词 平方 公里 阵列 ， 大 数据 ， 高 性 能 计算 ， 科 学 应 用 
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天 文学 是 一 门 最 古老 的 学 科 ， 伴 随 着 人 类 文明 产 
生 ， 而 中 国 则 是 世界 上 天 文学 起 步 最 早 的 国家 之 一 。 现 
代 观 测 天 文学 从 伽利略 发 明天 文 望 远 镜 算 起 ， 至 今 已 经 
有 400 多 年 的 历史 ， 天 文学 的 每 一 次 重大 进展 都 离 不 开 
天 文 望 远 镜 能 力 的 飞跃 式 进步 。 

中 国正 处 在 新 时 代 科 技 创 新 的 战略 机 遇 期 E 
家 对 科研 的 投入 达到 前 所 未 有 的 高 度 。 仰 望 星空 离 不 
开 精 密 望 远 镜 ， 近 几 年 一 批 大 型 天 文 望 远 镜 在 我 国 相 
继 建成 ， 如 兴隆 大 天 区 面积 多 目标 光纤 光谱 天 文 户 


* 通 讯 作 者 


算 、 管 理 、 归 档 、 发 布 对 信息 和 计算 机 领域 的 前 沿 技术 均 提出 了 
界 一 道 应 对 SKA 大 数据 的 挑战 ， 不 仅 推动 产生 重大 原创 性 科学 发 


远 镜 (LAMOST ) 、 贵 州 500 米 口 径 球面 射电 望远镜 
(FAST) 、 暗 物质 探测 空间 望远镜 “悟空 ”、 硬 X 射 线 
调制 望远镜 “慧眼 ”， 这 些 设 备 接近 或 达到 国际 一 流水 
平 。 中 国 参加 了 世界 上 最 大 的 天 文大 科学 工程 一 一 平方 
公里 阵列 ( Square Kilometre Array，SKA ) 射电 望远镜 的 
国际 合作 ， 其 建成 后 将 成 为 射电 望远镜 中 的 旗舰 ， 树 立 
自然 科学 探索 历程 中 新 的 里 程 碑 。 现 有 的 望远镜 设备 也 
都 在 升级 更 新 ， 形 成 了 从 地 基 设 备 到 空间 卫星 〈 以 及 空 
间 站 ) 的 观测 条 件 和 从 X 射线 、 紫 外 线 、 光 学 、 红 外 到 
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射电 的 全 波段 观测 能 力 ， 把 天 文学 的 研究 推 上 了 指数 增 
长 的 大 数据 时 代 。 目 前 的 天 文 数据 已 经 达到 了 PB EK, 
随 着 观测 技术 的 进步 和 观测 设备 的 更 新 ， 很 快 将 会 进入 
到 EB 量 级 时 代 ， 天 文大 数据 将 深刻 改变 人 类 探索 和 认识 
自然 的 方式 。 


1 天 文学 研究 已 经 步 入 大 数据 时 代 


从 20 世纪 60 年 代 以 来 ， 天 文学 不 断 产生 令 人 赞叹 
的 成 果 ， 天 文学 正 书写 着 人 类 自然 科学 发 展 的 辉煌 篇 
章 。 最 精彩 、 最 具 突 破 性 的 天 文 发 现 越 来 越 依赖 于 大 型 
科研 装置 的 协同 运行 ， 越 来 越 依 赖 于 海量 数据 的 分 析 和 
挖掘 ， 同 时 ， 科 学 成 果 的 透明 度 、 多 样 性 、 多 学 科 之 间 
融会 贯通 使 得 人 类 的 科技 生活 越 来 越 丰富 多 彩 。 天 文 
学 真正 进入 了 多 波段 、 多 信使 时 代 ， 人 们 不 仅 能 够 使 用 
多 个 观测 设备 同时 探测 同一 天 体 ， 获 得 几乎 整个 电磁 波 
谱 的 完整 信息 ， 而 且 还 能 够 使 用 电磁 辐射 之 外 的 其 他 
信 源 ， 比 如 中 微 子 和 引力 波 来 研究 宇宙 天 体 。 一 个 最 
有 具 代表 性 的 例子 是 2017 年 8 月 天 文学 家 首次 发 现 两 颗 
中 子 星 的 并 合 事 例 。 地 基 激 光 引 力 波 天 文 台 (LIGO ) 
fll VIRGO 引力 波 探测 需 首 先 发 现 了 中 子 星 并 合 过 程 产生 
的 时 空 涟 满 ， 随 后 最 强大 的 太空 望远镜 和 地 面 望远镜 协 
同 观 测 并 合 后 的 后 随 辐射 ， 使 得 人 们 不 仅 增 进 了 对 引力 
波 的 认识 ， 而 且 从 观测 上 证 实 了 短 伽 马 暴 、 巨 超新星 等 
奇异 天 体 ， 这 让 我 们 对 天 文学 协同 研究 的 强大 威力 有 了 
新 的 理解 。 
以 观测 为 基础 的 天 文学 曾 长 期 受到 数据 期 乏 的 困 
扰 ， 进 入 21 世纪 信息 时 代 ， 天 文学 已 经 发 生 了 重大 的 
革命 性 变化 。 天 文 观 测 已 经 逐步 进入 大 数据 时 代 ， 当 前 
科学 研究 方式 和 传播 方式 也 发 生 着 深刻 演变 。 举 个 例 
T: 超新星 是 宇宙 中 绚烂 的 烟花 ， 我 国有 世界 公认 的 关 
于 超新星 的 最 早 天 文 记 录 。 超 新 星 在 天 体 物 理 研究 中 有 
重要 的 地 位 ，2011 年 的 诺 贝 尔 物理 学 奖 授 予 3 位 天 文学 
家 ,他们 的 贡献 是 通过 对 超新星 的 观测 发 现 宇宙 正在 加 
速 膨胀 。 超 新 星 是 非常 稀有 的 事件 ， 在 10 年 前 捕获 一 
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颗 超新星 是 相当 困难 的 ， 因 此 每 次 观测 到 一 个 超新星 也 
必然 引起 全 球 望远镜 的 追逐 竞赛 ， 大 量 研究 不 得 不 依赖 
于 数值 模拟 和 理论 计算 。 而 如 今 ， 光 学 巡天 每 年 都 能 发 
341000 £i, 超新星 变 得 不 再 稀奇 ,深度 有 效 地 挖 气 这 
些 大 型 巡天 积累 的 数据 则 有 可 能 会 产生 更 多 新 发 现 。 随 
着 SKA 等 下 一 代 超 级 望远镜 带 来 的 天 文 观测 能 力 的 极 大 
提升 ， 在 当前 仍 属于 凤毛麟角 的 奇异 天 体 在 5 一 10 年 后 
都 将 成 为 常客 。 统 计 学 、 信 息 科学 与 天 文学 密切 结合 ， 
为 天 文学 家 提供 数据 分 析 工 具 ， 基 于 对 宇宙 大 数据 的 收 
集 、 整 理 、 分 析 探 索 宏 观 宇宙 的 真理 和 天 体 的 运行 规 
律 。 


2 大 数据 典型 应 用 一 一 平方 公里 阵列 (SKA) 

射电 望远镜 

天 文学 关注 有 关 宇 害 、 天 体 和 生命 起 源 的 最 具有 前 
脆性 的 问题 ， 这 些 问题 的 突破 和 解决 将 极 大 地 推动 自然 
科学 基础 理论 ， 促 进 人 类 科技 水 平 的 整体 进步 。 

由 宏伟 科学 目标 驱动 的 SKA 射电 望远镜 是 我 国 参 加 
的 最 大 的 天 文 领域 国际 合作 大 科学 工程 。SKA 建成 后 将 
成 为 世界 上 最 大 的 天 文 实验 装置 ， 为 人 类 探索 宇宙 起 源 
奥秘 创造 新 的 机 会 。SKA 由 包括 中 国 在 内 的 11 个 正式 
成 员 国 以 及 10 多 个 观察 员 国 参与 ， 建 设 和 运行 天 文大 
望远镜 已 经 成 为 一 个 国家 综合 实力 的 真实 体现 和 重要 标 
志 。SKA 总 部 位 于 英国 ，SKA 低频 阵列 ( SKA-low ) 包 
括 130 万 个 对 数 周 期 天 线 ， 拟 建 于 澳大利亚 西部 沙漠 ; 
SKA 中 频 阵 列 ( SKA-mid ) 包括 2 500 PRERA, WM 
建 于 南非 以 及 南部 非洲 的 无 线 电 宁静 区 域 ， 这 两 处 是 
经 过 天 文学 家 十 几 年 评估 和 测评 后 优选 出 来 的 最 佳 台 
址 。 望 远 镜 的 总 接收 面积 高 达 1 平方 公里 ， 频 率 几 乎 连 
比 目 前 厘米 波段 最 大 
的 射电 望远镜 阵 的 灵敏 度 提高 约 50 倍 、 巡 天 速度 提高 
4j 10000 fii?! , 

作为 下 一 代 担 当 引 领 作用 的 射电 天 文 观测 设施 ， 
SKA 将 对 射电 天 文学 的 发 展 产 生 深远 影响 。SKA 的 强大 
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观测 能 力 体现 在 其 超 高 灵敏 度 (mK ) 、 超 大 视 场 ( 数 十 
度 ) 、 超 快 巡 天 速度 、 超 高 频率 分 辨 率 (kHz ) 、 超 高 时 
间 分 辩 率 ( 纳 秒 ) 、 超 高 空间 分 辩 率 ( 亚 角 秒 ) ， 这 些 
技术 特点 使 得 SKA 产 生前 所 未 有 的 超大 数据 量 。 

SKA 的 建设 主要 分 为 两 个 阶段 : 第 一 阶段 ( SKA1) 
将 按照 全 规模 的 10% 来 建造 ， 预 计 2020 年 开 建 ; 第 
二 阶段 ( SKA2 ) 将 完成 其 余 90% 建设 工程 ,不 过 目 
前 尚未 确定 具体 计划 。SKA1-low 每 个 台 站 的 数据 产 
生 率 为 2 Tbps， 总 的 数据 流 是 1Pb/s。 据 此 规模 递 推 ， 
SKA2 至 少 产 生 10 倍 以 上 的 实时 数据 流 。 从 上 述 数据 可 
知 ，SKA 产生 的 数据 量 是 空前 巨大 的 ， 即 使 经 过 相关 
处 理 后 数据 量 极 大 降低 了 ， 但 输入 到 科学 数据 处 理 咒 
(SDP ) “的 数据 也 达到 了 4GB/s， 是 当之无愧 的 科学 大 
数据 。SKA 超大 规模 的 数据 流 需 要 及 时 地 以 实时 模式 处 
理 掉 ， 和 否则 会 造成 整个 数据 处 理 管线 (pipeline ) 的 堵塞 
甚至 月 泪 。 采 用 实时 模式 、 多 并 发 任务 、 数 据 流 管线 系 
统 的 处 理 方式 是 SKA 数据 处 理 的 几 个 典型 特点 ， 也 是 新 
型 科学 大 数据 处 理 的 典型 应 用 中 。 

作为 史上 最 大 的 射电 望远镜 ，SKA 不 仅 承载 孕育 世界 
级 科研 成 果 的 使 命 ， 而 且 将 产生 世界 上 最 大 规模 的 数据 ， 
因此 我 们 需要 充分 认识 到 SKA 数据 处 理 的 巨大 挑战 。 
于 SKA 工 程 极其 庞大 及 复杂 ， 为 了 攻克 关键 技术 、 降 低 技 
术 风 险 ， 包 括 中 国 在 内 的 多 个 国家 先后 建设 了 一 些 探 路 者 
和 先导 项 目 ， 每 个 项 目 相当 于 SKA 总 体 规模 的 1% 左右 ， 
并 基于 这 些 先导 望远镜 开展 了 相关 的 科学 预 研 究 和 技术 攻 
关 。 这 些 先导 设备 在 理解 SKA 科学 目标 、 建 立 和 逐步 完善 
空 模型 、 开 发 和 测试 数据 处 理 软 件 、 培 养 急 需 的 人 才 队 
伍 等 方面 发 挥 了 积极 作用 ， 在 SKA 发 展 历程 中 处 于 不 可 忽 
视 的 地 位 。 需 要 指出 的 是 ， 尽 管 如 此 ， 这 些 先导 项 目的 数 
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3 SKA 科 学 计算 的 挑战 


与 传统 望远镜 相 比 ，SKA 更 像 是 一 个 “软件 ” 望 远 
镜 ， 它 不 仅 集成 了 当代 信息 计算 技术 的 最 新 成 就 ， 而 且 提 
出 了 新 的 问题 。 以 SKA-low 为 例 ， 其 旨 在 探测 微弱 宇宙 信 
号 ， 这 些 低 频 阵 列 以 10PbAs 速度 产生 出 世界 上 最 大 规模 的 
数据 流 ， 远 远 超出 了 全 世界 互联 网 的 流量 。 按 照 SKA 的 
数据 流 规模 ,估计 在 建设 的 第 一 阶段 每 年 需要 输送 到 区 域 
数据 中 心 进行 深度 分 析 的 科学 数据 就 达到 了 每 年 300PB， 
随 着 望远镜 的 全 面 运行 ， 这 个 数据 量 必然 会 逐步 增加 。 
到 了 SKA2 阶段 ， 从 SKA 天 文 台 产 生 的 预 处 理 数 据 的 规 
模 将 扩展 到 SKA 先导 项 目的 100 倍 以 上 ， 达 到 EB 量 级 。 
SKA 两 个 最 重要 的 科学 方向 一 一 宇宙 再 电离 和 黑暗 时 期 
探测 、 用 脉冲 星 计时 阵 精 确 测量 引力 ， 需 要 积累 未 校准 
的 原始 数据 ; 如果 考 虑 到 保存 一 定时 间 的 原始 数据 ,， 那 
么 SKA 天文台 的 数据 存储 需求 将 提高 至 少 一 个 量 级 。 

以 SKA 先导 项 目 MWA 为 例 ， 经 过 4 年 的 运行 ， 
MWA 积累 了 24 PB 的 科学 存档 数据 。 其 中 一 个 科学 目标 
Æ GLEAM 巡天 任务 ， 第 一 期 巡天 已 经 包含 了 30 多 万 颗 
星系 ， 存 档 数据 量 达 到 1 PB 以 上 。 第 二 期 巡天 已 经 开 
始 ， 灵 敏 度 提 高 了 4 倍 以 上 ， 数 据 量 预期 高 达 6.5 PB。 
Mi MWA 只 占 到 SKA-low 规模 的 1%，SKA 数 据 量 由 此 可 
见 一 斑 。 据 初步 估计 ，SKA1 阶段 的 科学 数据 处 理 器 所 
需要 的 计算 能 力 为 260PFlops ( 即 每 秒 260 千 万 亿 次 浮 点 
运算 ) ， 相 当 于 我 国 超级 计算 机 “天 河 二 号 ”的 8 倍 ， 
“神威 太湖 之 光 ” 的 3 倍 。SKA 巨 大 的 计算 需求 必然 对 
现 有 科学 计算 的 架构 和 方式 形成 巨大 冲击 ， 对 SKA 数据 
处 理 问题 的 解决 有 助 于 带动 和 提升 相关 产业 的 发 展 ， 甚 
至 引发 革命 性 变化 。 

SKA 将 对 除 天 文学 以 外 的 其 他 众多 学 科 诸 如 计算 机 
科学 、 信 息 学 、 电 子 学 等 领域 带 来 极 大 的 促进 作用 ”。 


H 


QD 即 建 于 两 个 台 址 国 专门 对 这 些 原始 科学 数据 进行 预 处 理 的 超级 计算 机 。 


Q) RAF, 5. PIE SKA 科学 白皮书 (2017 年 ) 。 
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TB 量 级 的 高 速 数字 化 采样 、 高 速 实时 数字 信号 处 理 对 电 
子 行 业 带 来 新 的 挑战 。 长 期 工作 在 野外 恶劣 环境 下 射频 
言 号 长 距离 光纤 传输 的 频率 同步 是 孔径 阵列 急需 解决 的 
技术 挑战 之 一 。 大 数据 长 距离 的 高 速 宽带 洲际 传输 对 目 
前 的 科研 网 络 基础 设施 、 拓 扑 结构 、 通 信 协 议 、 传 输 端 
软件 等 提出 了 严 奇 的 要 求 一 一 满足 超 高 速 流 式 数据 处 理 
设计 的 互联 网 络 不 是 简单 通过 增加 节点 的 互联 网 口 数量 
和 增加 节点 间 的 互联 总 齐 宽 能 实现 的 ， 对 这 个 问题 的 有 
效 解决 也 必 将 促进 国内 百 GB 甚至 TB 级 基础 网 络 的 布局 
和 建设 。 

以 数据 密集 型 科学 计算 为 特点 的 SKA 数据 处 理 对 我 
国 的 电子 、 计 算 机 、 信 号 处 理 行业 提出 了 更 高 的 要 求 。 
SKA 科 学 数据 处 理应 用 面临 着 “存储 墙 ” 问 题 ， 即 IO 问 
题 ， 传 输 带 宽 是 主要 的 系统 瓶 贷 之 一 。 即 使 “天 河 二 
号 ”这 样 的 超 算 对 于 SKA 这 类 大 数据 的 处 理 资 源 也 会 有 
不 足 ， 同 时 不 便 进 行 突 发 事件 的 观测 分 析 ， 因 此 三 待 研 
究 适 应 数据 密集 型 科学 计算 的 新 型 架构 体系 中。 前 面 讲 
到 ，SKA 高 速 海量 的 输入 数据 必须 通过 实时 处 理 降低 后 
续 流 程 的 压力 ， 海 量 数据 实时 处 理 对 软 硬 件 体系 都 有 特 
殊 设计 要 求 ， 整 个 系统 的 架构 设计 和 集成 安装 、 超 算 中 
心 的 执行 框架 和 配套 软件 算法 、 数 据 中 心 的 健康 监控 、 
机 柜 冷 却 、 总 控 管理 等 都 会 面临 诸多 挑战 ， 而且 在 建设 
经 费 封顶 的 情况 下 ， 既 要 达到 预定 的 运算 能 力 和 实时 性 
要 求 ， 还 要 从 运行 成 本 上 考虑 满足 低 功 耗 的 要 求 。 此 外 
海量 数据 的 存储 、 归 档 、 检 索 、 运 算 对 超级 计算 机 的 完 
整 生态 链 提出 了 极 高 的 要 求 。 尽 管 国产 CPU 芯片 已 经 部 
署 在 国内 大 型 超 算 中 心 ， 国 内 科研 单位 也 研发 了 用 于 人 
工 智 能 领域 的 深度 学 习 处 理 咒 芯片 ; 但 不 容 乐 观 的 是 ， 
目前 主流 的 操作 系统 、 存 储 系统 等 软件 生态 基本 全 部 来 
自 于 国外 ， 最 关键 的 软件 生态 环境 依然 远 远 落 后 国际 水 
平 ， 尚 不 具备 竞争 力 ，“ 卡 脖子 ”问题 依然 严重 ， 自 给 
自足 的 能 力 还 不 够 。SKA 项 目 为 相关 产业 的 发 展 提出 了 
强烈 的 需求 驱动 。 

除了 硬件 方面 的 问题 ， 天 文 应 用 软件 的 目前 研发 
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水 平 也 远 远 无 法 达到 SKA 的 要 求 。SKA 科 学 数据 人 处理 的 
关键 算法 存在 大 量 对 共享 资源 包括 共享 文件 系统 的 操 
作 ， 传 统 固定 多 核 的 计算 机 系统 在 多 任务 、 多 并 发 、 多 
线程 并 行 执行 时 经 常 出 现 资 源 莞 争 ; 如 果 数 据 流 执行 
框架 不 能 有 效 地 妥善 解决 资源 调度 和 分 配 ， 严 重 的 情 
况 下 将 导致 数据 处 理 流 水 线 停顿 ?…。 实 际 上 ， 这 一 问 
题 在 SKA 先导 望远镜 数据 处 理 中 心 并 不 罕见 。 为 此 ， 
澳大利亚 ICRAR 研究 所 和 中 国 科学 院 上 海天 文 台 针 
对 SKA 项 目 联合 研发 了 名 为 Data Activated ù (Liu) 
Graph Engine (DALiuGE ) 的 数据 流 执行 框架 外 ， 其 采用 
了 “数据 驱动 ”的 先进 设计 理念 ， 比 传统 的 HPC“ 计 算 
驱动 ”的 设计 更 适合 SKA 科 学 计算 。 此 外 ，SKA 科学 计 
算 的 实际 运算 效率 小 于 原 计划 的 10%， 因 此 其 原 定理 论 
峰值 性 能 260 PFlops 无 法 完成 科学 数据 处 理 的 实际 需求 。 
增加 超 算 资源 的 简单 做 法 并 不 切实 可 行 ， 更 加 可 行 的 途 
径 是 提高 软件 执行 效率 一 一 效率 从 10% 提高 到 20%， 可 
以 节约 5096 的 计算 资源 以 及 大 幅度 降低 运行 成 本 。 天 文 
学 家 与 计算 机 专家 合作 优化 代码 ， 可 以 数 倍 地 提高 算法 
和 程序 的 运行 速度 。 当 务 之 急 是 培养 既 懂 天 文 又 懂 计 算 
的 复合 型 人 才 。 另 一 个 现实 的 问题 ， 天 文 数据 处 理 的 软 
件 也 亟 待 更 新 换代 以 满足 未 来 的 需求 。 目 前 主要 使 用 的 
天 文 软件 大 部 分 在 20 世纪 70 一 80 年 代 研发 ， 考 虑 到 天 
文 应 用 对 高 速 、 实 时 、 并 行 的 大 数据 处 理 需 求 ， 天 文学 
家 已 经 开始 使 用 更 先进 、 更 模块 化 、 支 持 并 行 的 开发 语 
言 ， 如 C++ 或 者 Python。 使 用 C++ 开发 的 AIPS 软件 的 蔡 
代 版 本 CASA 软 件 将 成 为 下 一 代 主 流 射电 天 文 软件 ; 涉 
及 机 器 学 习 、 人 工 智 能 的 程序 将 以 Python 为 优先 选 型 。 
天 文 数据 处 理 软件 的 研发 与 天 文 研 究 一 样 ， 已 经 从 单打 
独 斗 模式 升级 为 全 球 化 合作 集体 作战 ， 比 如 发 现 引 力 波 
的 LIGO 团队 由 1000 多 位 科学 家 组 成 ,广泛 应 用 于 射电 
天 文 处理 软 件 的 CASA 核心 库 也 有 来 自 全 球 近 百 位 人 员 
贡献 代码 及 算法 ; 航空 母 舰 式 的 联合 研究 团队 ， 大 兵团 
作战 模式 将 成 为 解决 重大 科学 问题 的 标准 资质 。 

科学 传播 比 任何 时 候 都 得 到 重视 ，“ 科 技 创 新 、 科 
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学 普及 是 实现 创新 发 展 的 两 四 ”"。 未 来 SKA 的 天 文大 
数据 将 不 仅仅 服务 于 天 文学 家 ， 也 将 提供 面向 公众 的 接 
口 。 以 SKA 为 依托 ， 宣 传 科 研 成 果 、 交 流 学 术 思 想 、 普 
及 科技 知识 、 弘 扬 科 学 精神 ， 大 力 推广 基础 科学 在 公众 
间 的 认 知 度 ， 提 高 科研 在 公众 的 普及 度 。SKA 区 域 中 心 
将 通过 虚拟 天 文 台 和 “ 云 ” 的 方式 让 老百姓 以 更 加 便捷 
的 方式 接触 科学 ， 在 公众 中 普及 天 文学 。 


出 


4 中 国 SKA 科 学 和 区 域 中 心 的 思考 和 对 策 


我 国正 面临 着 推进 科技 创新 的 重要 历史 机 遇 。 科 技 
创新 已 经 被 提升 到 实现 “两 个 一 百年 ”奋斗 目标 、 实 现 
中 华 民族 伟大 复兴 的 中 国 梦 的 战略 高 度 。SKA 是 我 国 参 
加 的 最 大 的 天 文 领域 国际 合作 项 目 ， 为 我 国 射电 天 文学 
实现 从 “ 跟 跑 ”到 “并 跑 、 领 跑 ” 创 造 了 难得 的 机 遇 。 
SKA 将 主导 和 影响 未 来 50 年 射电 天 文学 的 发 展 命运 ， 使 
低频 射电 天 文学 再 次 进入 莲 勃 发 展 的 新 时 代 ， 将 孕育 诸 
多 重大 科学 突破 ， 创 造 观测 宇宙 学 研究 的 又 一 个 辉煌 。 

SKA 数据 的 深度 分 析 和 加 工 是 在 分 布 于 几 大 洲 的 区 
域 数据 中 心 完成 。 包 括 中 国 在 内 的 几 个 主要 成 员 国 对 于 
建设 SKA 区 域 数据 中 心 均 予以 积极 态度 并 寄予 很 高 的 期 
ff. 已 经 开始 了 关键 技术 研究 工作 。 由 于 SKA 数据 处 理 
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版 。SKA 多 科学 目标 多 种 数据 属性 的 特征 使 得 多 数据 流 
并 行 成 为 必然 趋势 ， 也 是 未 来 SKA 区 域 中 心 国际 网 络 建 
设 方面 需要 关注 的 问题 。 

为 了 与 国际 同步 乃至 赶 超 ， 依托 SKA 这 样 的 大 
科学 工程 要 顶层 设计 ， 定 向 规划 人 才 培 养 , 不仅 要 坚 
持 独 立 自 主 ， 还 要 多 与 国际 顶级 研究 单位 、 一 流 团 队 
进行 合作 开展 前 沿 研 究 ， 提 升 自身 能 力 。 中 国 目前 严 
重 缺 乏 数据 处 理 人 才 ， 要 充分 认识 到 人 才 培 养 的 长 期 
性 。 中 国 SKA 科学 团队 要 抓 住 SKAL 第 一 批 数 据 发 布 
( 2022 年 ) 之 前 这 段 宝 贵 的 时 间 窗 口 ， 围 绕 相关 的 科学 
研究 ， 利 用 SKA 先导 望远镜 产 出 科学 成 果 、 掌 握 数 据 
处 理 技 术 ， 争取 在 SKAL 运行 后 能 够 尽快 投入 相关 科学 
研究。 除了 天 文 研究 和 数据 处 理 人 才 ， 在 大 型 国际 合作 
科技 项 目 中 ,管理 型 科技 专家 要 走 上 国际 舞台 ， 不 断 巩 
固 和 加 强 学 术 地 位 。 科 学 家 要 勇于 承担 使 命 ， 争取 在 国 
际 组 织 中 担任 重要 职务 ， 在 国际 大 科学 工程 中 掌握 话语 
权 ， 维 护 国 家 利益 ， 配 合 民族 复兴 的 国家 战略 。 

应 对 SKA 大 数据 的 挑战 ， 应 一 方面 立足 国际 合 
作 ， 另 一 方面 加 快 关键 核心 技术 国产 化 。 可 以 考虑 以 中 
国 SKA 区 域 科学 和 数据 中 心 为 依托 ， 争 取 突 破 TB 量 级 
高 速 科研 上 骨干 网 、 信 号 与 数据 传输 以 及 EB 量 级 高 性 和 


GG 


的 特殊 性 、 复 杂 性 、 巨 大 数据 量 ， 大 规模 的 数据 搬运 是 
不 现实 的 ， 因 此 中 心 化 的 数据 处 理 方式 成 为 必然 选择 。 
建设 中 国 SKA 区域 中 心 不 仅 是 国际 SKA 总 体 规划 不 可 或 
缺 的 一 个 部 分 ， 也 是 支撑 中 国 科学 家 有 效 利用 SKA 数据 
获得 相应 科学 回报 的 重要 保障 。SKA 科学 家 在 全 球 广泛 
分 布 ， 分 布 式 计算 和 存储 、 云 化 成 为 数据 存档 和 发 布 的 
考虑 ， 多 个 科学 和 数据 分 中 心 组 成 的 区 域 中 心 网 格 可 以 
满足 SKA 的 多 样 化 需求 。 中 国 科 学 院 上 海天 文 台 与 澳 大 
利 亚 的 SKA 数据 中 心 之 间 已 经 建立 了 端 对 端的 直 连 ， 最 
高 数据 传输 速率 达到 3.2 Gbps， 是 目前 已 知 最 高 的 天 文 数 
据 流 速率 ， 这 为 SKA 区 域 中 心 提供 了 有 益 经 验 和 实际 模 


计算 机 等 关键 技术 ， 开 发 出 配套 的 天 文 软件 来 支持 相应 
天 文 课题 的 数据 处 理 ， 从 而 在 SKA 时 代 到 来 之 际 能 够 使 
用 SKA 科学 数据 快速 取得 重大 科学 成 果 ， 引 领先 进 科 学 
方向 。 

总 之 ， 人 类 共享 一 个 天 空 ， 通 过 参与 SKA 全 球 创新 
合作 ， 共 同 促进 天 文学 的 跨越 式 发 展 ， 为 解决 人 类 共同 
关注 的 科学 目标 做 出 贡献 ， 是 “构建 人 类 命运 共同 体 ” 
理念 的 重要 实践 。 
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Science Applications and Challenges of SKA Big Data 


AN Tao" WU Xiangping" HONG Xiaoyu YE Shuhua MAO Yufeng? GUO Shaoguang LAO Baoqiang! 
(1 Shanghai Astronomical Observatory, Chinese Academy of Sciences, Shanghai 200030, China; 
2 National Astronomical Observatories, Chinese Academy of Sciences, Beijing 100101, China; 
3 Bureau of Frontier Sciences and Education, Chinese Academy of Sciences, Beijing 100864, China ) 

Abstract The Square Kilometre Array (SKA) radio telescope to be built soon is the largest astronomical observing facility, and it is expected 
to make revolutionary breakthroughs in the major frontiers of natural sciences to answer fundamental questions of origins, such as the origin 
of the Universe, the origin of life, the origin of the cosmic magnetic field, the nature of gravity, and search for extraterrestrial civilization. The 
unprecedented power of the SKA, characterized by the extremely high sensitivity, wide field of view, ultra-fast survey speed, super high time, 
space, and frequency resolutions ensures the leading position of the SKA in radio astronomy in next decades, which also produces a vast amount 
of observational data at ExaByte (EB) level. The transportation, storage, reading, writing, computing, management, archiving of the SKA- 
level data and the release of SKA science products have posed serious challenges on the technologies in the field of information and computers. 
China SKA science team will work together with the information, communication, and computer industry to tackle the challenges of the SKA 
big data, as not only promotes major original scientific discoveries, but also applies the derived technological achievements to stimulate the 
national economy. 
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